Топонимы в сочетании со словом остров обычно не склоняются. Поэтому верно: на острове Коневец. Подробнее см. в "Письмовнике".
Топонимы с родовым словом остров обычно не склоняются: на острове Кипр.
Правильно: стрелка Васильевского острова.
Правильно: вглубь острова, вглубь Арктики. Ср.: в глубь океана (=в глубину).
При сохранении общего смысла "на острова" предпочтительно использование предлога НА: на Южную Георгию и Южные Сандвичевы Острова.
Правильно не склонять: с острова Русский. Однако в разговорной речи нередко употребляются согласуемые формы: приехали с острова Русского.
Словари фиксируют ударение на первом слоге: Кадьяк (хотя медведь – кадьяк).
Вы просклоняли это название верно.
Правильно: на Тайване.